Trước thu âm Safe as Milk, ban nhạc đã phát hành hai đĩa đơn qua A&M Records, và ban nhạc cũng có ý định nhờ hãng đĩa này phát hành album đầu tay năm 1966.[2] Họ giới thiệu hãng đĩa với một số demo, hãng đĩa cảm thấy những demo này quá bất thường và quyết định đuổi ban nhạc.[2] Beefheart sau đó nói rằng A&M quyết định đuổi họ sau khi nghe "Electricity" và cho rằng nó "quá tiêu cực".[3] Jerry Moss của A&M nghĩ rằng chủ đề [của demo] quá thiếu đứng đắn cho tai nghe của con gái ông ta. Ban nhạc phải hợp tác với Bob Krasnow, người khi đó làm việc cho Kama Sutra Records; ông chiêu mộ họ cho hãng đĩa con mới của công ty, Buddah.[4]

Cùng lúc, Beefheart có ý định thay đổi nhân sự the Magic Band. Đội hình thu âm hai đĩa đơn cho A&M gồm Doug Moon và Richard Hepner (guitar), Jerry Handley (bass), và Alex St. Clair (trống). Hepner đã rời đi trước, và Beefheart thay Moon bằng Ry Cooder, người khi đó chơi nhạc với Gary Marker và Taj Mahal trong Rising Sons. Kết quả, đội hình mới của Magic Band gồm Handley chơi bass, St. Clair chơi guitar, và John French chơi trống, Cooder thực hiện những phần guitar thêm.